Năm 1953, Palme được thủ tướng Tage Erlander của đảng Dân chủ Xã hội tuyển vào làm trong Nha thư ký của ông ta. Từ năm 1955 Palme là thành viên trong Liên đoàn thanh niên Dân chủ Xã hội Thụy Điển và thuyết trình ở trường Bommersvik của Liên đoàn.

Năm 1957 ông được bầu làm nghị sĩ quốc hội Thụy Điển (riksdagsledamot).[4]

Olof Palme giữ nhiều chức vụ trong nội các từ năm 1963. Năm 1967 ông trở thành Bộ trưởng bộ Giáo dục, và năm sau, ông là mục tiêu hứng chịu sự chỉ trích nặng nề của các sinh viên cánh tả, phản đối chương trình cải cách đại học của chính phủ. Khi lãnh tụ đảng Tage Erlander từ chức năm 1969, Palme được bầu làm lãnh tụ trong kỳ Đại hội của đảng Dân chủ Xã hội, và kế thừa Erlander, làm thủ tướng.

Cùng với Raoul Wallenberg và Dag Hammarskjöld, Palme trở thành một trong các người Thụy Điển nổi tiếng quốc tế nhất trong thế kỷ 20, vì trong thời gian 125 tháng ở cương vị thủ tướng, ông đã chống đối dữ dội chính sách đối ngoại của Hoa Kỳ, và việc ông bị ám sát.[5][6]

Người được Palme che chở và cũng là đồng minh chính trị, Bernt Carlsson, được Liên Hiệp Quốc bổ nhiệm làm ủy viên phụ trách Namibia vào tháng 7/1987, cũng bị chết không đúng lúc, trên chuyến bay Pan Am Flight 103 bị rớt ngày 2.12.1988 khi trên đường trở về trụ sở Liên Hiệp Quốc dự lễ ký Thỏa ước New York vào hôm sau.

Palme được cho là đã có tác động sâu xa tới tình cảm của nhiều người; ông rất được các người cánh tả ưa thích, nhưng cũng bị cánh hữu ghét.[7] Điều đó một phần là do các hoạt động quốc tế của ông ta, đặc biệt các hoạt động chống Hoa Kỳ, và phần khác là do phong cách tranh luận hùng hổ và nói thẳng của ông.[8][9]